Xưa núi là một vọng gác tiền tiêu bảo vệ thành Hoa Lư. Đặc biệt đây là nơi chứng kiến cuộc chuyển giao chế độ quan trọng trong lịch sử đất nước: từ bến Vân Sàng dưới chân núi, hoàng thái hậu nhà Đinh Dương Vân Nga đã trao áo Long Bào và chờ đợi ngày về cho tướng quân Lê Hoàn cầm quân đánh đuổi quân xâm lược nhà Tống lần thứ nhất, mở ra chiến thắng vang dội trong lịch sử dân tộc.

Trương Hán Siêu là người có công đầu phát hiện và khai thác vẻ đẹp của núi Non Nước. Ông đặt tên núi là Dục Thúy Sơn và là người đầu tiên lưu bút tích một bài thơ cho các thi sĩ đến thưởng ngoạn, ngắm cảnh làm những bài thơ khắc vào đá. Đền thờ Trương Hán Siêu và chùa Non Nước được xây dựng bên chân núi. Khu vực này ngày nay là công viên Thúy Sơn của thành phố Ninh Bình. Sách "Đại Nam nhất thống chí" có ghi: "Phía bắc núi có động, trong động có đền thờ Tam Phủ, sườn núi có một tảng đá gần sông có khắc ba chữ "Khán Giao Đình" (Đỉnh xem giao long), phía tây nam núi có đền thờ Sơn Tinh và Thuỷ Tinh, trên đỉnh có chùa". Ngọn núi này đã chứng kiến dấu tích của nhiều thời kỳ lịch sử. Ngay từ thời Lý Nhân Tông, người Việt đã xây tháp Linh Tế trên núi. Trải qua mưa nắng tháp bị đổ, đến thời Trần Hiển Tông, nhà sư Trí Nhu đã xây lại tháp Linh Tế ở trên đỉnh núi, sáu năm mới xong (1337 - 1342). Trương Hán Siêu, một danh sĩ thời Trần đã có nhiều kỷ niệm với núi Non Nước. Các vua nhà Hậu Lê cũng đặt hành cung ở trên núi này để đến chơi thăm. Nhà Nguyễn cũng cho đặt tường bao quanh gọi là nữ tường, chòi Pháp, xưởng đúc súng ở trên núi...[4]

Núi Non Nước còn là đề tài của các thi nhân xưa và nay. Hiếm có ngọn núi nào có trên 40 bài thơ văn khắc vào núi như núi Thuý và còn đến hàng trăm bài thơ vịnh cảnh của các nhà thơ qua các triều đại như các danh nhân: Trương Hán Siêu, Trần Anh Tông, Trần Minh Tông, Phạm Sư Mạnh, Nguyễn Trãi, Lê Thánh Tông, Lê Hiến Tông, Nguyễn Nghi, Nguyễn Huy Oánh, Ngô Phúc Lâm, Ngô Thì Sỹ, Phan Huy Ích, Ngô Thì Nhậm, Ninh Tốn, Nguyễn Du, Minh Mạng, Thiệu Trị, Cao Bá Quát, Bùi Văn Dị, Nguyễn Hữu Tường, Phạm Bá Huyền, Phạm Huy Toại, Nguyễn Khuyến, Phạm Văn Nghị, Tự Đức, Từ Đạm, Tản Đà,...

Hòn Non Nước nằm ở vị trí rất trọng yếu, án ngữ toàn bộ ngã ba sông Đáy, sông Vân, quốc lộ 10, đường sắt Bắc Nam và gần quốc lộ 1A, nên trong thời kỳ kháng chiến, quân giặc luôn tìm cách tiếp cận vị trí này. Dọc đường lên núi vẫn còn lôcốt với vết tích của bom đạn thời chiến tranh. Trên núi có tượng anh hùng Lương Văn Tụy, người thanh niên cộng sản trẻ tuổi đã dũng cảm vượt qua bom đạn cắm ngọn cờ búa liềm trên núi.

Trong chiến dịch Quang Trung, cũng trên núi này, thượng tá Giáp Văn Khương làm nhiệm vụ đột kích đồn Hồi Hạc rồi leo lên đỉnh Non Nước mở đột phá khẩu. Chỉ trong một đêm mà đã phá sáu bốt địch, giết 200 tên, bắn cháy một tàu chiến. Sau Pháp phản công, Giáp Văn Khương đã tình nguyện ở lại chặn đường cho đồng đội rút lui. Và đến phút cuối cùng, anh đã nhảy từ đỉnh núi xuống sông Đáy, dạt theo những tảng lục bình thoát thân. Giáp Văn Khương được bầu là chiến sĩ thi đua toàn quốc tại Đại hội thi đua lần thứ nhất khai mạc ngày 1 tháng 5 năm 1952 tại Đại Từ, Thái Nguyên. Năm 1955, Giáp Văn Khương là thành viên Đoàn đại biểu Thanh niên, Sinh viên Việt Nam đi dự Đại hội liên hoan Thanh niên và Sinh viên thế giới lần thứ 5 năm 1955 tại Vacsava (Ba Lan) với sự có mặt của 31.000 đại biểu đến từ 114 nước. Đứng trước yêu cầu mới, Giáp Văn Khương được điều động ra Trung đoàn 5 - Đặc khu Quảng Ninh.

Nhờ lắng đọng bề dày trầm tích gắn với lịch sử hình thành vùng đất Ninh Bình, núi Thúy -sông Vân trở thành hình ảnh biểu tượng độc đáo đặc trưng của thành phố Ninh Bình.